Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes
重新审视投机解码中的有损验证：机制、权衡与失效模式
🧭 LLM 推理加速 · 有损验证分析
Independent Researcher · Baidu Inc. · Zhejiang University
将有损验证方法分为截断式和协作式两类，揭示截断式分布失真的性能衰退风险与协作式需控制过度超出的关键准则
📌 工作参考价值（3 点）
- 在电商对话推荐、Agent 推理等延迟敏感场景使用投机解码加速时，应优先选择协同验证等保持分布一致的方法，避免直接用截断式验证造成输出质量剧烈下滑。
- 若必须用截断式验证（如严格时间限制），需通过校准目标概率与草案概率的差距，设置阈值避免过度截断，减少分布失真。
- 评估加速效果时，务必以真实的目标模型采样（而非错误基线）作为对照，否则会严重误判方法优劣。